首页 >旅游新闻

面壁小钢炮4.0发布:性能比肩 Qwen-3-8B,极限220倍提速

/
来源:

旗云2论坛

作者:

手机查看

面壁小钢炮4.0发布:性能比肩 Qwen-3-8B,极限220倍提速,浦银国际:新能源乘用车渗透率保持快速上扬 智能化增量零部件产业链同步大涨,  刘知远指出,220倍的加速看上去比较夸张,但本身其实存在一个特殊性——由于MiniCPM4.0 在处理更长序列的数据时,可以更好地去处理Transformer架构带来的内存爆炸问题,避免了长序列数据处理带来的内存占用倍增,而同尺寸的Qwen-3-8B、Llama-3-8B等模型并未就此进行优化,因此MiniCPM4.0有了突出的表现。  相较于Qwen-3-8B、Llama-3-8B、GLM-4-9B等同等参数规模端侧模型,实现了长文本推理速度5倍常规加速以及最高  220倍加速,让端侧模型长文本推理“快如闪电”。面壁智能联合创始人兼首席科学家刘知远在与新浪科技沟通中表示,“最高220倍加速,其实是建立在我们模型架构、数据治理、软硬件结合、训练等方面全栈创新优化成果之上的。”  其中,MiniCPM 4.0-8B 模型为稀疏注意力模型,在MMLU、CEval、MATH500、HumanEval等基准测试中,以仅22%的训练开销,性能比肩 Qwen-3-8B、超越Gemma-3-12B。MiniCPM 4.0-0.5B在性能上,也较更大的Qwen-3-0.6B、Llama 3.2实现仅2.7%的训练开销,一半参数性能翻倍,并实现了最快  600 Token/s的极速推理速度。。

责编:黄昊


审签:

责编:黄昊


审签:

相关推荐 换一换